Agent 的研发和运营

下图所示，展现了 Agent应用 的 应用 研发的链条。

产品是具体用户看得见可以用的 网站/app/client。Agents 业务框架包含：Agent framework、Components、Pipelines的实现。产品的业务逻辑以Pipeline的形式共建，所以产品会依赖 agent 框架的pipeline 调用，Demo 是具体展示 pipeline业务逻辑的jupyter slides。Agent 的业务框架关于AI模型使用的部分，会依赖一个推理系统，将提供所有模型的推理。Infra 系统中模型需要迭代更新，更新过程会遵循企业中的 研发流。

产品侧的功能

分3个层面分析：

• Product 比较toy，满足用户测试 硬件的需求，这种测试相比跑Benchmark，更接近应用的使用逻辑。
• 【推荐尝试】Product 是一个产品原型，像 VLLM Open webUI。用户可以基于该产品开发自己的产品。这将是一个完善的开源项目
• 【就想想】Product 是一个toC/B的网站/app/client。是通过运营以服务用户，实现价值的，例如 ChatGPT/Kimi/NotionAI

Demo的作用

• 可以比较清晰的展示较为General 业务过程，业务表现和推理性能，使客户可以感受到然后产生一些和自己业务的联想；那么我们帮客户做业务流程、我们指导用户用我们框架做业务流程，用户根据项目手册作业务流程
• 可以作为开源项目的一部分之一起展示作用，作者 技术力的展示方式之一。
• 用于 布道教学，培养行业新人，对开源项目产生贡献。

Agents 业务逻辑框架

该层是实现一个Agent系统，它支撑一切业务逻辑，有agent framework、framework 所依赖的具体components，外部方法的调用和创建、General 的Pipeline 案例。Agents会依赖AI模型的调用和无数的外部工具的调用，例如，搜索引擎、文件解析器、代码执行器等等。

Infra

这是一个处理Agents 和AI Models 关系的系统，例如开源的 VLLM，Ollama等。目前20247月这个时间，该系统能稳定提供的功能是 模型推理服务。关于提供Function call，开源作用正在研发中，大部分闭源产品可以提供，比如 Openai、Kimi、Google等等。关于模型的训练、微调，少数闭源产品可以提供，比如Openai、Google，国内还不存在。Function call和模型的训练、微调早晚会在开源项目中实现。
站在一个Infra 提供商的视角，推理服务有三类：

1. 转发 Openai、Kimi、Google已有模型调用
2. 使用 GPU(Nvidia) 提供模型推理。这就能直接使用例如VLLM的开源项目。
3. 使用自研Device 提供模型推理。这需要做开源项目例如VLLM的硬件兼容，或自研推理框架。

R&D

Infra中的模型需要不断的更新，这是企业中 R&D (Research and Develop) 流做的事，进行模型的训练和微调，相应的Device、Driver、Runtime的升级。